Ông gia nhập Đảng Cộng sản Việt Nam vào ngày 20/5/1987.

Ông có thời gian công tác lâu năm tại Văn phòng Chính phủ, giữ chức Vụ trưởng Vụ Thư ký - Biên tập, Văn phòng Chính phủ.

Từ tháng 11 năm 2008, ông được Thủ tướng Nguyễn Tấn Dũng bổ nhiệm làm Trợ lý Thủ tướng Chính phủ.[5]

Từ tháng 11 năm 2011, ông được bổ nhiệm làm Phó Chủ nhiệm Văn phòng Chính phủ tại Quyết định số 1569/QĐ-TTg ngày 12/9/2011.

Tháng 3 năm 2014, ông nằm trong danh sách 44 cán bộ được điều động, luân chuyển làm cán bộ tại các địa phương, ông được Bộ Chính trị điều động tham gia Ban Chấp hành Đảng bộ Thành phố Hồ Chí Minh, giữ chức Phó Bí thư Thành ủy Thành phố Hồ Chí Minh[6] nhưng không thành công cho nên ông ở lại tiếp tục làm Phó Chủ nhiệm Văn phòng Chính phủ.

Ngày 26 tháng 01 năm 2016, tại Đại hội đại biểu toàn quốc lần thứ 12 của Đảng Cộng sản Việt Nam, ông được bầu làm ủy viên Ban Chấp hành Trung ương Đảng Cộng sản Việt Nam khóa 12 nhiệm kì 2016-2021.

Ngày 05 tháng 02 năm 2016, ông được phân công điều hành Văn phòng Chính phủ[7], thay ông Nguyễn Văn Nên được điều động giữ chức Bí thư Trung ương Đảng, Chánh Văn phòng Trung ương Đảng.

Ngày 22 tháng 5 năm 2016, Ông trúng cử đại biểu Quốc hội Việt Nam khóa 14 nhiệm kì 2016-2021, thuộc đoàn đại biểu quốc hội tỉnh Khánh Hòa.

Ngày 22 tháng 7 năm 2016, ông được bầu giữ chức Ủy viên Đảng đoàn Quốc hội, Ủy viên Ủy ban Thường vụ Quốc hội, Chủ nhiệm Ủy ban Pháp luật của Quốc hội khóa XIV, thay ông Phan Trung Lý[8]

Ngày 19 tháng 10 năm 2019, Bộ Chính trị Ban Chấp hành Trung ương Đảng Cộng sản Việt Nam phân công ông Nguyễn Khắc Định làm Bí thư Tỉnh ủy Tỉnh Khánh Hòa.

Ngày 22 tháng 11 năm 2019, ông được 456 đại biểu Quốc hội bỏ phiếu đồng ý miễn nhiệm chức vụ Ủy viên Ủy ban Thường vụ Quốc hội, Chủ nhiệm Ủy ban Pháp luật của Quốc hội khóa XIV (tổng số đại biểu Quốc hội tại thời điểm bỏ phiếu là 483).[9]